The Magnitude Mirage: Rethinking Confidence for Reasoning-Intensive Retrieval
量级幻象：重新思考推理密集型检索中的置信度
🧭 RAG 检索置信度与拒答优化
UNSW Sydney · University of Innsbruck
发现相似度分数大小在逻辑/时间推理查询中失效，提出零成本的分数分布信号可显著提升检索拒答 AUROC
📌 工作参考价值（4 点）
- 在电商/客服/广告的 RAG 场景中，不要用原始相似度分数阈值做检索拒答；直接计算 top-1 与 top-k 的 Score Gap（s1 - sk）或 LSMV（局部分数均值与方差），零成本替换 magnitude thresholding。
- 对于需要逻辑/时间约束的查询（如“价格低于500且评分4.5以上的红色连衣裙”），语义相似度分数会误导置信度判断，必须引入分数分布信号，否则拒答策略接近随机。
- 工程实现上，只需在召回后保留 top-k 的分数向量，在线计算 gap / variance，无需额外推理或模型加载；可先离线在 reasoning-intensive 查询集上验证 AUROC，再决定是否上线。
- 评估检索器或 RAG 流水线时，除了 recall/NDCG，建议加入基于分布信号的 abstention AUROC，尤其在逻辑、时间推理类查询上，能暴露 magnitude 指标的盲区。